深度学习入门笔记（三）————BP神经网络算法推导

一 多层网络结构

 误差反向传播，把误差从最后输出层往上传，每一层神经元都可以不断调节权值，使其达到一个最好的状态。有几个类别设置几个输出单元。层数越多，数据提取的特征越高层。

二 常用激活函数

1. Sigmoid函数

 

2. Tanh函数和Softsign函数

 

三 BP神经网络的具体实现

 1.基本思想：由信号的正向传播和误差的反向传播组成。首先是正向传播，数据从输入层输入，经各隐含层逐层处理后传向输出层。若输出层的实际输出与期望输出有差距，则进入误差的反向传播阶段，将输出层的输出误差以某种形式的信号通过隐含层向输入层，并将误差均分给每层的所有单元，从而获得各层单元的误差信号，将该误差信号作为修正各单元权值的依据。权值的不断调整，使实际输出更加接近期望输出 ，反复进行正向传播与反向误差传播，直到输出误差达到期望值，或者循环到要求的学习次为止。权值的不断调整的过程，就是网络的学习训练的过程。

2.网络模型 

 输入向量为x0 = -1是为隐含层神经元引入阀值而设置的。

隐含层输出向量为